Tuanku Abdul Rahman mangkat ketika beradu di Istana Negara, Kuala Lumpur pada awal pagi 1 April 1960. Kemangkatan Seri Paduka Baginda telah diumumkan ke seluruh negara oleh Perdana Menteri YTM Tunku Abdul Rahman Putra. Kali terakhir baginda memperlihatkan diri di khayalak ramai, adalah pada 30 Mac, apabila baginda merasmikan pembukaan peraduan ke-2 bola sepak merebut piala junior Asia di Stadium Merdeka.

Istiadat kemangkatan diadakan di Dewan Perjamuan Istana Negara. Pada 2 April 1960, perarakan mengiringi jenazah baginda telah diadakan di Kuala Lumpur, di mana keranda jati baginda kemudian dibawa oleh kereta api ke Seremban dan kemudian dengan kereta api ke Istana Besar, Seri Menanti. Baginda dimakamkan di Makam Diraja di Seri Menanti, Negeri Sembilan pada 5 April 1960.[1]

Dengan kemangkatan DYMM Seri Paduka Baginda Yang di-Pertuan Agong yang pertama, maka Sultan Selangor iaitu Tuanku Hisamuddin Alam Shah, Timbalan Yang di-Pertuan Agong telah diisytiharkan untuk menjalankan tugas-tugas Yang di-Pertuan Agong sehinggalah seorang Yang di-Pertuan Agong yang baharu dilantik oleh Majlis Raja-Raja. Manakala Tuanku Munawir pula telah diangkat sebagai Yang di-Pertuan Besar Negeri Sembilan.